Beyond Final Answers: Auditing Trajectory-Level Hallucinations in Multi-Agent Industrial Workflows
超越最终答案：审计多智能体工业工作流的轨迹级幻觉
🧭 工业多智能体轨迹级幻觉审计与实时监控 ★ 深度解读
IBM · Columbia University
提出 Trajel 基准，定义五种轨迹级幻觉类型，发现执行质量信号（如推理清晰度 AUC=0.908）比监督分类器更早预测幻觉，且 48.7% 的轨迹存在多类型共现。
📌 工作参考价值（4 点）
- 从最终输出看→轨迹级审计：在生成式推荐或电商智能客服等 Agent 工作流中，多数幻觉（如程序性跳过步骤、指代不存在的前序输出）仅凭最终回复无法发现。可将评测单元下沉到 Thought-Action-Observation 每一步，用细粒度标签（事实/指代/逻辑/程序/范围）诊断故障根因。
- 轻量级实时监控信号比复杂分类器更有效：实验中“清晰度与理由”（Clarity & Justification）这一执行质量信号单独 AUC 即达 0.908，远超微调 BERT/NLI/Longformer（最高 AUC 0.689）。在 Agent 循环中，可优先实现类似的低成本标记（如推理是否自洽、步骤是否完整）作为 Guardrail，在轨迹进行中即时切断高风险路径。
- 多智能体协同必须引入角色边界检查：范围性幻觉（正确的结论但由错误 Agent 声称）在工业多智能体系统中占比 19.8%，自动化检测器对此最不敏感。在电商多 Agent 系统（客服、推荐、订单等）中，应显式定义各 Agent 的职责规范，并在路由或汇总阶段校验输出是否越权。
- 幻觉诊断应支持多标签，而非二元判定：48.7% 的幻觉轨迹同时存在多种类型（如程序+事实），单纯有无幻觉的标记会掩盖故障组合。在召回或对话质量评估中，可以用多标签分类替代二元判断，辅助定向改进（如优化流程编排、加强事实校验）。